<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/xhtml;charset=UTF-8"/>
<meta http-equiv="X-UA-Compatible" content="IE=9"/>
<title>JaDe Tokenizer: Info.h Quellcode</title>

<link href="tabs.css" rel="stylesheet" type="text/css"/>
<link href="doxygen.css" rel="stylesheet" type="text/css" />
<link href="navtree.css" rel="stylesheet" type="text/css"/>
<script type="text/javascript" src="jquery.js"></script>
<script type="text/javascript" src="resize.js"></script>
<script type="text/javascript" src="navtree.js"></script>
<script type="text/javascript">
  $(document).ready(initResizable);
</script>
<link href="search/search.css" rel="stylesheet" type="text/css"/>
<script type="text/javascript" src="search/search.js"></script>
<script type="text/javascript">
  $(document).ready(function() { searchBox.OnSelectItem(0); });
</script>

</head>
<body>
<div id="top"><!-- do not remove this div! -->


<div id="titlearea">
<table cellspacing="0" cellpadding="0">
 <tbody>
 <tr style="height: 56px;">
  
  <td id="projectlogo"><img alt="Logo" src="JaDe.jpg"/></td>
  
  
  <td style="padding-left: 0.5em;">
   <div id="projectname">JaDe Tokenizer
   
   </div>
   
  </td>
  
  
  
 </tr>
 </tbody>
</table>
</div>

<!-- Erzeugt von Doxygen 1.7.6.1 -->
<script type="text/javascript">
var searchBox = new SearchBox("searchBox", "search",false,'Suchen');
</script>
  <div id="navrow1" class="tabs">
    <ul class="tablist">
      <li><a href="index.html"><span>Hauptseite</span></a></li>
      <li><a href="namespaces.html"><span>Pakete</span></a></li>
      <li><a href="annotated.html"><span>Klassen</span></a></li>
      <li class="current"><a href="files.html"><span>Dateien</span></a></li>
      <li>
        <div id="MSearchBox" class="MSearchBoxInactive">
        <span class="left">
          <img id="MSearchSelect" src="search/mag_sel.png"
               onmouseover="return searchBox.OnSearchSelectShow()"
               onmouseout="return searchBox.OnSearchSelectHide()"
               alt=""/>
          <input type="text" id="MSearchField" value="Suchen" accesskey="S"
               onfocus="searchBox.OnSearchFieldFocus(true)" 
               onblur="searchBox.OnSearchFieldFocus(false)" 
               onkeyup="searchBox.OnSearchFieldChange(event)"/>
          </span><span class="right">
            <a id="MSearchClose" href="javascript:searchBox.CloseResultsWindow()"><img id="MSearchCloseImg" border="0" src="search/close.png" alt=""/></a>
          </span>
        </div>
      </li>
    </ul>
  </div>
  <div id="navrow2" class="tabs2">
    <ul class="tablist">
      <li><a href="files.html"><span>Auflistung&#160;der&#160;Dateien</span></a></li>
    </ul>
  </div>
</div>
<div id="side-nav" class="ui-resizable side-nav-resizable">
  <div id="nav-tree">
    <div id="nav-tree-contents">
    </div>
  </div>
  <div id="splitbar" style="-moz-user-select:none;" 
       class="ui-resizable-handle">
  </div>
</div>
<script type="text/javascript">
  initNavTree('_info_8h.html','');
</script>
<div id="doc-content">
<div class="header">
  <div class="headertitle">
<div class="title">Info.h</div>  </div>
</div><!--header-->
<div class="contents">
<div class="fragment"><pre class="fragment"><a name="l00001"></a>00001 ﻿<span class="comment">/** @mainpage JaDe-Tokenizer </span>
<a name="l00002"></a>00002 <span class="comment"> * &lt;a href=&quot;index2.html&quot; target=&quot;_parent&quot;&gt;&lt;b&gt;Bedienungsanleitung&lt;/b&gt;&lt;/a&gt;</span>
<a name="l00003"></a>00003 <span class="comment"> *  &lt;br/&gt;</span>
<a name="l00004"></a>00004 <span class="comment"> *  @section sec2 Projekt-Zielsetzung</span>
<a name="l00005"></a>00005 <span class="comment"> *  </span>
<a name="l00006"></a>00006 <span class="comment"> *  Im Rahmen eines einsemestrigen Projektseminars war es unser Ziel eine Windows-Forms Anwendung in C# zu erstellen.</span>
<a name="l00007"></a>00007 <span class="comment"> *  Grundidee war es, ein Tool bereitzustellen, mit dem man japanische Texte in Token zerlegen kann. </span>
<a name="l00008"></a>00008 <span class="comment"> In der Benutzeroberfläche sollte es die Möglichkeit geben, fehlerhaft erstellte Token zu bearbeiten. Außerdem sollte es möglich sein die Bedeutung, der Token in einem eingebundenen Wörterbuch (Japanisch-Deutsch) nachzuschlagen.</span>
<a name="l00009"></a>00009 <span class="comment"> *  @subsection Projekt-Mitglieder</span>
<a name="l00010"></a>00010 <span class="comment"> -  Christopher Michels</span>
<a name="l00011"></a>00011 <span class="comment"> -  Mirko Daumann</span>
<a name="l00012"></a>00012 <span class="comment"> -  Robert Studtrucker</span>
<a name="l00013"></a>00013 <span class="comment"> -  Youness El Ouafy</span>
<a name="l00014"></a>00014 <span class="comment"></span>
<a name="l00015"></a>00015 <span class="comment"> @section sec3 Ausblick</span>
<a name="l00016"></a>00016 <span class="comment"> Im Weiteren möchten zumindest Einzelne Mitglieder der Projektgruppe an dem Projekt weiter arbeiten. Daher hier noch ein paar Funktionen/Ziele die noch nicht umgesetzt wurden, aber folgen werden:</span>
<a name="l00017"></a>00017 <span class="comment"> -  Ausgabe des japanischen Textes mit Übersetzungsvorschlägen für einzelne Token in einer passend formatierten Datei (Xml)</span>
<a name="l00018"></a>00018 <span class="comment">  -  Möglichkeit, die gewählte Übersetzung für einen Token zu ändern</span>
<a name="l00019"></a>00019 <span class="comment">  -  Möglichkeit, während der Bearbeitung der Token den Fortschritt zu speichern</span>
<a name="l00020"></a>00020 <span class="comment"> -  Zusätzliches Anlegen eines Nachschlagewerkes für japanische Postpositionen (mit grammatikalisch hilfreichen Einträgen) </span>
<a name="l00021"></a>00021 <span class="comment"> -      Auswahl der Token zum Bearbeiten und Suchen überarbeiten</span>
<a name="l00022"></a>00022 <span class="comment"> -  Funktion des Tokenizers überarbeiten</span>
<a name="l00023"></a>00023 <span class="comment"></span>
<a name="l00024"></a>00024 <span class="comment"> *  @section sec4 Verwendete Resourcen</span>
<a name="l00025"></a>00025 <span class="comment"> *  @subsection TinySegmenter</span>
<a name="l00026"></a>00026 <span class="comment"> *  &lt;p&gt;Da dies unser erstes Programmier-Projekt war und wir mit verschiedenen Komplikationen rechneten, haben wir uns aus zeitlichen Gründen dazu entschlossen, keinen eigenen Tokenizer für das Japanische zu trainieren. </span>
<a name="l00027"></a>00027 <span class="comment"> *  Stattdessen haben wir auf einen bereits implementierten Tokenizer namens TinySegmenter zurückgegriffen. </span>
<a name="l00028"></a>00028 <span class="comment"> *  Diesen haben wir lediglich in C# umgesetzt und unseren Bedürfnissen entsprechend angepasst.&lt;/p&gt;</span>
<a name="l00029"></a>00029 <span class="comment"> *  &lt;p&gt;Der TinySegmenter ist ein durch einen maschinellen Lernprozess erstelltes Modell zur Erkennung von Wortgrenzen im Japanischen. Er verwendet kein Wörterbuch, arbeitet also nach dem Prinzip der Word-Boundary-Prediction.</span>
<a name="l00030"></a>00030 <span class="comment"> *  Im maschinellen Lernprozess wurde der RWCP-Corpus verwendet. Daher ist der TinySegmenter stark bei Zeitungstexten, hat aber Schwächen bei „einfachen“ Texten, die in Hiragana verfasst sind.&lt;/p&gt;</span>
<a name="l00031"></a>00031 <span class="comment"> *  Der TinySegmenter ist frei verfügbar unter: </span>
<a name="l00032"></a>00032 <span class="comment"> *  &lt;p&gt;&lt;a href=&quot;http://chasen.org/~taku/software/TinySegmenter/&quot;&gt;http://chasen.org/~taku/software/TinySegmenter/&lt;/a&gt;&lt;/p&gt;</span>
<a name="l00033"></a>00033 <span class="comment"> *  &lt;p&gt;&lt;a href=&quot;http://chasen.org/~taku/software/TinySegmenter/tiny_segmenter-0.1.js&quot;&gt;http://chasen.org/~taku/software/TinySegmenter/tiny_segmenter-0.1.js&lt;/a&gt;&lt;/p&gt;</span>
<a name="l00034"></a>00034 <span class="comment"> *  &lt;p&gt;Der Urheberrechtsvermerk befindet sich in der Segmenter-Klasse, welche maßgeblich auf dem TinySegmenter aufbaut. &lt;/p&gt;</span>
<a name="l00035"></a>00035 <span class="comment"> *  @subsection WaDoku</span>
<a name="l00036"></a>00036 <span class="comment"> *      &lt;p&gt;Ebenfalls frei verfügbar ist das von uns verwendete Wörterbuch, eine xml Version des Wörterbuchprojektes von Ulrich Apel.&lt;/p&gt;</span>
<a name="l00037"></a>00037 <span class="comment"> *      &lt;p&gt;&lt;a href=&quot;http://www.wadoku.de/wiki/x/ZQE&quot;&gt;http://www.wadoku.de/wiki/x/ZQE&lt;/a&gt;&lt;/p&gt;</span>
<a name="l00038"></a>00038 <span class="comment"> *      &lt;p&gt;Der Urheberrechtsvermerk findet sich in der SearchEngine-Klasse.&lt;/p&gt;</span>
<a name="l00039"></a>00039 <span class="comment"> *  @subsection Sonstiges</span>
<a name="l00040"></a>00040 <span class="comment"> *  &lt;p&gt;Microsoft Visual Studio Professional 2010&lt;/p&gt;</span>
<a name="l00041"></a>00041 <span class="comment"> *  &lt;p&gt;AnkSVN&lt;/p&gt;</span>
<a name="l00042"></a>00042 <span class="comment"> *  &lt;p&gt;&lt;a href=&quot;http://ankhsvn.open.collab.net/&quot;&gt;http://ankhsvn.open.collab.net/&lt;/a&gt;&lt;/p&gt;</span>
<a name="l00043"></a>00043 <span class="comment"> *  &lt;p&gt;Google Code&lt;/p&gt;</span>
<a name="l00044"></a>00044 <span class="comment"> *  &lt;p&gt;&lt;a href=&quot;http://code.google.com/p/project-cl-mrc/&quot;&gt;http://code.google.com/p/project-cl-mrc/&lt;/a&gt;&lt;/p&gt;</span>
<a name="l00045"></a>00045 <span class="comment"> *  &lt;p&gt;DoxyGen&lt;/p&gt;</span>
<a name="l00046"></a>00046 <span class="comment"> *  &lt;p&gt;&lt;a href=&quot;http://www.stack.nl/~dimitri/doxygen/index.html&quot;&gt;http://www.stack.nl/~dimitri/doxygen/index.html&lt;/a&gt;&lt;/p&gt;</span>
<a name="l00047"></a>00047 <span class="comment"> *  </span>
<a name="l00048"></a>00048 <span class="comment"> *  </span>
<a name="l00049"></a>00049 <span class="comment"> */</span>
</pre></div></div><!-- contents -->
</div>
<!-- window showing the filter options -->
<div id="MSearchSelectWindow"
     onmouseover="return searchBox.OnSearchSelectShow()"
     onmouseout="return searchBox.OnSearchSelectHide()"
     onkeydown="return searchBox.OnSearchSelectKey(event)">
<a class="SelectItem" href="javascript:void(0)" onclick="searchBox.OnSelectItem(0)"><span class="SelectionMark">&#160;</span>Alle</a><a class="SelectItem" href="javascript:void(0)" onclick="searchBox.OnSelectItem(1)"><span class="SelectionMark">&#160;</span>Klassen</a><a class="SelectItem" href="javascript:void(0)" onclick="searchBox.OnSelectItem(2)"><span class="SelectionMark">&#160;</span>Namensbereiche</a><a class="SelectItem" href="javascript:void(0)" onclick="searchBox.OnSelectItem(3)"><span class="SelectionMark">&#160;</span>Funktionen</a><a class="SelectItem" href="javascript:void(0)" onclick="searchBox.OnSelectItem(4)"><span class="SelectionMark">&#160;</span>Variablen</a><a class="SelectItem" href="javascript:void(0)" onclick="searchBox.OnSelectItem(5)"><span class="SelectionMark">&#160;</span>Propertys</a></div>

<!-- iframe showing the search results (closed by default) -->
<div id="MSearchResultsWindow">
<iframe src="javascript:void(0)" frameborder="0" 
        name="MSearchResults" id="MSearchResults">
</iframe>
</div>

  <div id="nav-path" class="navpath">
    <ul>
      <li class="navelem"><b>Info.h</b>      </li>

    <li class="footer">Erzeugt am Fre Mär 2 2012 15:52:52 für JaDe Tokenizer von
    <a href="http://www.doxygen.org/index.html">
    <img class="footer" src="doxygen.png" alt="doxygen"/></a> 1.7.6.1 </li>
   </ul>
 </div>


</body>
</html>
